2019 年 Google AI Residency 项目精彩回顾
文 / Katie Meckley, Program Manager, Google AI Residency
随着 2019 年接近尾声，我们的第四期 Google AI Residency 项目也圆满落幕。此项目于 2016 年在加州山景城启动，为期 12 个月，首期学员 27 人。如今，已发展成为在全球的九个地区拥有近百名参与者的实习项目。项目参与者已在博士课程、学术界、非营利组织和工业界取得巨大成功，多人成为 Google 全职研究员。
第四期是该项目迄今为止最成功的一期，参与者在诸多研究领域（例如机器感知、算法和优化、语言理解、医疗健康等）取得了重大进展。以下是今年部分学员分享的创新项目。
大型多语言神经机器翻译模型的大规模跨语言迁移研究（近期在 此文 中作了重点介绍），对数十亿条来自 100 多种语言的句对进行训练，从而显著提升冷门语言和热门语言的翻译质量。
所有建模语言编码器表征归结并可视化呈现（基于表征相似性）。不同语言集群的编码表征（根据语言相似性）。我们按语系对语言进行颜色编码
可缩放矢量图形 (SVG) 的生成模型，可帮助设计师生成字体。
上图：与图标的像素表示（右）不同，本例中的“6” （SVG：左、中）是比例固定的表示。下图：通过直接创建 SVG 模型，我们可以帮助设计师快速、直观地进行排版设计
利用 差异法 学习生成对抗网络 (GAN) 的方法。差异法是一种考量损失函数和假设集的度量方法，可为理论学习提供保证。
DGAN 集中加入的生成器越多，就越能覆盖真实分布中的多种模式。从左到右依次为：1 个生成器、5 个生成器和 10 个生成器
针对深度生成模型的似然比方法。该方法可有效纠正混杂的背景统计数据，从而改善外分布 (OOD) 检测，为基因组学中的 OOD 检测提供一个新的基准数据集。
Fashion-MNIST 每个像素的对数似然图像（左）和对数似然比图像（右）。似然图像由“背景”像素主导，而似然比图像则侧重于“语义”像素，因此更适用于 OOD 检测
一项展示在何时标签平滑处理起到帮助作用的研究。该研究关注标签平滑处理对预测校准、倒数第二层学习的表征，以及对知识提炼有效性的影响。
三个 CIFAR100 类的 2D 表征投影。在未经标签平滑处理时，示例分布较为分散；经过标签平滑处理后，每个示例与其他类的集群距离几乎相等，减弱了类内变异和类间相似的结构
组织研讨会，让理论物理学和深度学习领域的专家汇聚一堂，共同探讨物理学工具如何启发深度学习理论。 整理 Tensorflow 实践教程，传授如何使用深度学习进行自然语言处理。 使用基于 TensorFlow 的开源框架 AdaNet 自动学习神经网络架构。 继首个由 AI 提供支持的 Doodle（为纪念德国著名作曲家和音乐家约翰·塞巴斯蒂安·巴赫而创建）之后，我们的学员开发了 Coconet 模型。
此外，从下一期开始，学员除了参与为期 12 个月的学习周期外，还可选择将学期延长至 18 个月！我们期待通过这一激动人心的改变，提升项目的整体体验和学员的成果，让此项目继续发扬光大。
如果您有意加入第五期，现在就可以申请 2020 年 Google AI Residency 项目了！访问 g.co/airesidency/apply，获取更多申请资讯。请尽快提交您的申请，我们将以滚动方式考虑项目候选人。查看 g.co/airesidency，了解更多学员资料、往届学员著作、文章和故事。
我们热切期待明年的研究成果，同时希望您能加入我们遍布世界各地的研究团队！
如果您想详细了解 本文提及 的相关内容，请参阅以下文档。这些文档深入探讨了这篇文章中提及的许多主题：
Google AI Residency
https://g.co/airesidency机器感知
https://ai.google/research/teams/perception/算法和优化
https://ai.google/research/teams/algorithms-optimization/语言理解
https://ai.google/research/teams/language/医疗健康
https://ai.google/research/teams/brain/healthcare-biosciences/大规模跨语言迁移研究
https://ai.google/research/pubs/pub48541生成模型
https://arxiv.org/abs/1904.02632帮助设计师
https://magenta.tensorflow.org/svg-vae学习生成对抗网络 (GAN) 的方法
https://arxiv.org/abs/1910.08965似然比方法
http://arxiv.org/abs/1906.02845Fashion-MNIST
https://github.com/zalandoresearch/fashion-mnist平滑标签处理研究
https://arxiv.org/abs/1906.02629CIFAR100
https://www.cs.toronto.edu/~kriz/cifar.html研讨会
https://sites.google.com/corp/view/icml2019phys4dl使用深度学习进行自然语言处理
https://github.com/tensorflow/workshops/tree/master/kdd2019AdaNet
https://ai.googleblog.com/2018/10/introducing-adanet-fast-and-flexible.html由 AI 提供支持的 Doodle
https://www.google.com/doodles/celebrating-johann-sebastian-bachCoconet
https://magenta.tensorflow.org/coconet